Mai Trung Thứ sinh năm 1906, quê ở làng Do Nha (Ro Nha), huyện An Dương, tỉnh Kiến An (cũ) nay là xã Tân Tiến, huyện An Dương, Hải Phòng trong một gia đình quan lại.

Ông nội là Mai Trung Quế, tri châu Tuần Giáo kiêm nhiệm châu Luân, quyền tri phủ phủ Điện Biên, tỉnh Sơn La (cũ) được triều đình Huế phong tặng Thái Thường Tự Khanh, gia tặng Đô Sát Viện hữu phó Đô Ngự Sử. Cha là Mai Trung Cát, Tổng đốc Bắc Ninh, được gia phong hàm Thái tử Thiếu bảo Đông Các Đại học sĩ, tước Văn Tân nam và chính quyền Pháp phong tước hiệu Nam tước (Baron).

Năm 1925, ông thi vào khóa I Trường Cao đẳng Mỹ thuật Đông Dương cùng lứa với Nguyễn Phan Chánh, Lê Văn Đệ, Lê Phổ, Nguyễn Cao Luyện... Đây là trường Mỹ thuật duy nhất cho toàn Đông Dương do Victor Tardieu làm Hiệu trưởng, Tardieu là một nghệ sĩ đồng thời là một nhà sư phạm giỏi, một trí thức Pháp tiến bộ.

Trong những năm theo học, lúc đầu Mai Trung Thứ theo đuổi chất liệu tranh sơn dầu vẽ cảnh sinh hoạt của nông thôn Việt Nam thời đó, về sau ông chuyển sang vẽ tranh lụa, chất liệu tranh đã tạo nên tên tuổi ông sau này. Tranh của Mai Trung Thứ nổi bật với những gam màu tươi sáng, con người và cảnh vật cũng tươi sáng giống như tranh của Tô Ngọc Vân sau này.

Năm 1930, sau khi tốt nghiệp Trường Cao đẳng Mỹ thuật Đông Dương, Mai Trung Thứ được bổ nhiệm dạy vẽ tại Trường Quốc học Huế. Tại nơi đây, tài năng vẽ tranh lụa của ông đã nở rộ. Hàng loạt các tác phẩm lụa của ông ra đời mà nhân vật trong tác phẩm của ông là những cô gái Huế dịu dàng, những khung cảnh hữu tình bên dòng sông Hương, những mái nhà cong của khu đền đài lăng tẩm. Sáu năm sống và làm việc ở kinh đô Huế đã gợi cho ông những hình ảnh, những ký ức sâu đậm, đồng thời tạo cho ông chỗ đứng vững chắc trong nền hội họa hiện đại Việt Nam.

Trong thập niên 1930, cùng với một số họa sĩ khác, Mai Trung Thứ tham gia trưng bày tranh ở nhiều nước trên thế giới như ở Italia (Roma 1932, Milan 1934, Naples 1934), ở Bỉ (Brussels 1936), ở Mỹ (San Francisco 1937) và ở Pháp nơi ông đến định cư sau này. Sau khi tham gia Hội chợ đấu xảo Paris năm 1936, Mai Trung Thứ quyết định ở lại sống và hoạt động nghệ thuật tại thành phố được ví như kinh đô ánh sáng, nơi hội tụ các danh họa bậc thầy của thế giới lúc đó. Suốt mấy chục năm sống và làm việc tại thủ đô nước Pháp, ông chủ yếu vẽ bằng ký ức về đề tài các cô thiếu nữ, các trẻ em Việt Nam, khung cảnh Việt Nam, những mái lá hay đền đài...

Năm 1974, Mai Trung Thứ về thăm Việt Nam sau 38 năm xa quê hương cùng nhiều văn nghệ sĩ khác trong đó có nhà điêu khắc Điềm Phùng Thị (học trò của ông) theo lời mời của Chính phủ nước Việt Nam Dân chủ Cộng hòa khi đó.

Năm 1980, ông qua đời đột ngột vì bệnh tim, hưởng thọ 75 tuổi. Thi hài của ông được an táng dưới chân một ngọn núi cách thủ đô Pháp không xa.